#длинный контекст

Cerebras представила MiniMax-M2-REAP-162B-A10B — 30% REAP-прюнинг экспертов уменьшает память без заметной потери качества на задачах кода, рассуждений и вызова инструментов.

'Ling 2.0 — новая серия разреженных MoE-моделей от Ant Group, использующая 1/32 активацию для эффективного масштабирования рассуждений от 16B до 1T.'

Glyph рендерит длинные тексты в страницы и обрабатывает их VLM, достигая 3–4× сжатия токенов и заметного прироста скорости при работе с 128K входами.

'GLM-4.6 расширяет контекст до 200K токенов, сокращает потребление токенов в реальных задачах кодирования и предоставляет открытые веса для локального вывода и исследований.'

'oLLM выгружает веса и KV-кэш на SSD, чтобы запускать модели с очень длинным контекстом на одном 8 ГБ GPU, в обмен на большой объем быстрого дискового хранилища.'

'Meta FAIR выпустила CWM, 32B LLM с открытыми весами, mid-trained на трассах выполнения Python и агентных взаимодействиях для более обоснованной генерации и патчинга кода.'

Qwen из Alibaba выпустила FP8-контрольные точки для Qwen3-Next-80B-A3B (Instruct и Thinking), что делает практичным деплой 80B/3B-гибридного MoE на обычных GPU и улучшает производительность в режимах длинного контекста

'IBM представила два компактных ModernBERT-эмбеддинга Granite R2 с поддержкой 8k контекста, высокой скоростью и коммерческой лицензией Apache 2.0.'

'Nvidia представила Rubin CPX — GPU для задач с огромным контекстом, например генерации видео и кода, обещая экзафлопсную мощность и новые модели монетизации до 2026 года.'

'REFRAG сжимает извлеченные фрагменты в векторы, позволяя обрабатывать в 16 раз больший контекст и сокращая время до первого токена до 30.85× без потери точности.'

'NVIDIA выпустила Nemotron Nano 2 — гибридные LLM с поддержкой 128K токенов и до 6× ускорением на одной A10G GPU; большинство данных и рецептов опубликованы.'

'Короткое руководство по AI-агентам в 2025: что это, где они работают надёжно, основные риски и как выстраивать продакшен.'

'Alibaba выпустила две 4-миллиардные модели с нативным окном в 256K токенов: Instruct для кратких многоязычных ответов и Thinking для явных цепочек рассуждений и сложных задач.'

Qwen выпустила Qwen3-Coder-480B-A35B-Instruct — самую мощную открытую агентную модель для кода с масштабной архитектурой, широкой поддержкой языков и новым открытым CLI-инструментом Qwen Code.

Microsoft представила Phi-4-mini-Flash-Reasoning — компактную модель с 3.8 млрд параметров, оптимизированную для эффективного анализа длинных контекстов и быстрого вывода, превосходящую предыдущие модели на сложных задачах.

QwenLong-L1 представляет структурированный подход к обучению с подкреплением, позволяющий большим языковым моделям эффективно решать задачи с длинным контекстом и достигает лучших результатов на множестве бенчмарков.

Серия Falcon-H1 от TII представляет гибридные модели Transformer-SSM, сочетающие эффективность и производительность с поддержкой длинных контекстов, многоязычностью и масштабируемостью от 0,5 до 34 млрд параметров.

xGen-small от Salesforce — компактная модель ИИ для эффективной обработки длинного контекста с низкими затратами и высокой приватностью, меняющая корпоративные рабочие процессы.

RWKV-X представляет гибридную модель, объединяющую разреженное внимание и рекуррентную память для эффективного декодирования очень длинных последовательностей с линейной сложностью, превосходя предыдущие модели RWKV в задачах с длинным контекстом.

IBM выпустила Granite 4.0 Tiny Preview — компактную открытую языковую модель, оптимизированную для задач с длинным контекстом и инструкциями с высокой эффективностью и производительностью.

Исследователи из Эдинбурга, Cohere и Meta показали, что большие разреженные модели превосходят меньшие плотные при работе с длинным контекстом, предложив новые законы масштабирования и стандартизированные методы.